VAE
DanceFusion
DanceFusion是一款由清华大学开发的开源框架,专注于音频驱动的舞蹈动作生成与重建。它采用分层时空Transformer-VAE和扩散模型,能够处理不完整或嘈杂的数据,生成与音乐高度同步的逼真舞蹈动作。该工具支持多种应用场景,包括内容创作、虚拟现实、互动娱乐、舞蹈教育以及动画制作等,展现了其在多领域的应用价值。
HunyuanVideo
HunyuanVideo是一款由腾讯开源的视频生成模型,具备130亿参数量,支持物理模拟、高文本语义还原、动作一致性和电影级画质等功能。它通过时空压缩的潜在空间训练,融合Causal 3D VAE与Transformer架构,实现图像和视频的统一生成,广泛应用于电影制作、音乐视频创作、游戏开发以及教育等领域。
Fish Speech 1.5
Fish Speech 1.5是一款基于深度学习的文本转语音(TTS)工具,支持多语言文本输入,通过Transformer、VITS、VQVAE和GPT等技术实现高质量语音合成。它具备零样本和少样本语音合成能力,延迟时间短,无需依赖音素,泛化性强,且支持本地化部署。Fish Speech 1.5可应用于有声读物、辅助技术、语言学习及客户服务等多个领域。